The state-of-the-art language model-based automatic metrics, e.g. BARTScore, benefiting from large-scale contextualized pre-training, have been successfully used in a wide range of natural language generation (NLG) tasks, including machine translation, text summarization, and data-to-text. Recent studies show that considering both major errors (e.g. mistranslated tokens) and minor errors (e.g. imperfections in fluency) can produce high-quality human judgments. This inspires us to approach the final goal of the evaluation metrics (human-like evaluations) by automatic error analysis. To this end, we augment BARTScore by incorporating the human-like error analysis strategies, namely BARTScore++, where the final score consists of both the evaluations of major errors and minor errors. Experimental results show that BARTScore++ can consistently improve the performance of vanilla BARTScore and outperform existing top-scoring metrics in 20 out of 25 test settings. We hope our technique can also be extended to other pre-trained model-based metrics. We will release our code and scripts to facilitate the community.
translated by 谷歌翻译
Deep neural networks (DNNs) are sensitive and susceptible to tiny perturbation by adversarial attacks which causes erroneous predictions. Various methods, including adversarial defense and uncertainty inference (UI), have been developed in recent years to overcome the adversarial attacks. In this paper, we propose a multi-head uncertainty inference (MH-UI) framework for detecting adversarial attack examples. We adopt a multi-head architecture with multiple prediction heads (i.e., classifiers) to obtain predictions from different depths in the DNNs and introduce shallow information for the UI. Using independent heads at different depths, the normalized predictions are assumed to follow the same Dirichlet distribution, and we estimate distribution parameter of it by moment matching. Cognitive uncertainty brought by the adversarial attacks will be reflected and amplified on the distribution. Experimental results show that the proposed MH-UI framework can outperform all the referred UI methods in the adversarial attack detection task with different settings.
translated by 谷歌翻译
流行预测是有效控制流行病的关键，并帮助世界缓解威胁公共卫生的危机。为了更好地了解流行病的传播和演变，我们提出了Epignn，这是一种基于图神经网络的流行病预测模型。具体而言，我们设计了一个传输风险编码模块，以表征区域在流行过程中的局部和全局空间效应，并将其纳入模型。同时，我们开发了一个区域感知的图形学习者（RAGL），该图形将传播风险，地理依赖性和时间信息考虑在内，以更好地探索时空依赖性，并使地区意识到相关地区的流行状况。 RAGL还可以与外部资源（例如人类流动性）相结合，以进一步提高预测性能。对五个现实世界流行有关的数据集（包括流感和Covid-19）进行的全面实验证明了我们提出的方法的有效性，并表明Epignn在RMSE中优于最先进的基线。
translated by 谷歌翻译
学习域不变的表示已成为域适应/概括的最受欢迎的方法之一。在本文中，我们表明不变的表示可能不足以保证良好的概括，在考虑标签函数转移的情况下。受到这一点的启发，我们首先在经验风险上获得了新的概括上限，该概括风险明确考虑了标签函数移动。然后，我们提出了特定领域的风险最小化（DRM），该风险最小化（DRM）可以分别对不同域的分布移动进行建模，并为目标域选择最合适的域。对四个流行的域概括数据集（CMNIST，PACS，VLCS和域）进行了广泛的实验，证明了所提出的DRM对域泛化的有效性，具有以下优点：1）它的表现明显超过了竞争性盆地的表现； 2）与香草经验风险最小化（ERM）相比，所有训练领域都可以在所有训练领域中具有可比性或优越的精度； 3）在培训期间，它仍然非常简单和高效，4）与不变的学习方法是互补的。
translated by 谷歌翻译
病理学家需要结合不同染色病理切片的信息，以获得准确的诊断结果。可变形图像配准是融合多模式病理切片的必要技术。本文提出了一个基于混合特征的基于特征的可变形图像登记框架，用于染色的病理样品。我们首先提取密集的特征点，并通过两个深度学习功能网络执行匹配点。然后，为了进一步减少虚假匹配，提出了一种结合隔离森林统计模型和局部仿射校正模型的异常检测方法。最后，插值方法基于上述匹配点生成用于病理图像注册的DVF。我们在非刚性组织学图像注册（ANHIR）挑战的数据集上评估了我们的方法，该挑战与IEEE ISBI 2019会议共同组织。我们的技术的表现使传统方法的平均水平注册目标误差（RTRE）达到0.0034。所提出的方法实现了最先进的性能，并在评估测试数据集时将其排名1。提出的基于特征的混合特征的注册方法可能会成为病理图像注册的可靠方法。
translated by 谷歌翻译
跨模式时尚图像合成已成为一代域中最有前途的方向之一，因为巨大的未开发的潜力融合了多种方式和广泛的时尚图像应用。为了促进准确的生成，跨模式合成方法通常依赖于对比的语言图像预训练（剪辑）来对齐文本和服装信息。在这项工作中，我们认为，简单地对齐纹理和服装信息不足以捕获视觉信息的语义，因此提出了maskClip。 MaskClip将服装分解为语义部分，以确保视觉和文本信息之间的细粒度和语义准确对齐。在MaskClip上，我们建议Armani，这是一位统一的跨模式时装设计师，具有零件级的服装文本对齐。 Armani在第一阶段将图像分散成统一令牌，并使用变压器在第二阶段的控制信号的标记中使用变压器为真实图像的图像令牌进行建模。与同样依赖两阶段范式的先前方法相反，Armani将文本令牌引入了代码簿中，使该模型可以利用细粒语义信息来生成更真实的图像。此外，通过引入跨模式变压器，Armani具有通用性，可以从各种控制信号（例如纯文本，草图图像和部分图像）中完成图像合成。在我们新收集的跨模式时尚数据集上进行的广泛实验表明，Armani在不同的合成任务中生成了光真实的图像，并且优于现有的最先进的跨模式图像综合方法。 github.com/harvey594/armani。
translated by 谷歌翻译
基于图像的虚拟试验是以人为中心的现实潜力，是以人为中心的图像生成的最有希望的应用之一。在这项工作中，我们迈出了一步，探索多功能的虚拟尝试解决方案，我们认为这应该具有三个主要属性，即，它们应支持无监督的培训，任意服装类别和可控的服装编辑。为此，我们提出了一个特征性的端到端网络，即用空间自适应的斑点适应性GAN ++（Pasta-gan ++），以实现用于高分辨率不合规的虚拟试验的多功能系统。具体而言，我们的意大利面++由一个创新的贴布贴片的拆卸模块组成，可以将完整的服装切换为归一化贴剂，该贴片能够保留服装样式信息，同时消除服装空间信息，从而减轻在未受监督训练期间过度适应的问题。此外，面食++引入了基于贴片的服装表示和一个贴片引导的解析合成块，使其可以处理任意服装类别并支持本地服装编辑。最后，为了获得具有逼真的纹理细节的尝试结果，面食gan ++结合了一种新型的空间自适应残留模块，以将粗翘曲的服装功能注入发电机。对我们新收集的未配对的虚拟试验（UPT）数据集进行了广泛的实验，证明了面食gan ++比现有SOTA的优越性及其可控服装编辑的能力。
translated by 谷歌翻译
机器学习模型在许多领域都表现出了有希望的表现。但是，担心他们可能会偏向特定的群体，阻碍了他们在高级申请中的采用。因此，必须确保机器学习模型中的公平性。以前的大多数努力都需要访问敏感属性以减轻偏见。尽管如此，由于人们对隐私和法律依从性的认识日益增加，获得具有敏感属性的大规模数据通常是不可行的。因此，一个重要的研究问题是如何在隐私下做出公平的预测？在本文中，我们研究了半私人环境中公平分类的新问题，其中大多数敏感属性都是私有的，只有少量的干净敏感属性可用。为此，我们提出了一个新颖的框架Fairsp，可以首先学会通过利用有限的清洁敏感属性来纠正隐私保证下的嘈杂敏感属性。然后，它以对抗性方式共同建模校正和清洁数据以进行歧义和预测。理论分析表明，当大多数敏感属性都是私有的时，提出的模型可以确保公平。现实世界数据集的实验结果证明了所提出的模型在隐私下做出公平预测并保持高精度的有效性。
translated by 谷歌翻译
随着对深度学习民主化的向往，在资源约束设备上实施基于变压器的自然语言处理（NLP）模型的需求越来越大，以实施低延迟和高准确性。现有的BERT修剪方法要求域专家启发手工制作超参数，以在模型大小，延迟和准确性之间取得平衡。在这项工作中，我们提出了AE-Bert，这是一种具有有效评估的自动和高效的BERT修剪框架，以选择“良好”子网络候选（高精度），鉴于整体修剪比率的约束。我们提出的方法不需要人类专家的经验，并且可以在许多NLP任务上取得更好的准确性能。我们关于一般语言理解评估（胶水）基准的实验结果表明，AE-Bert优于Bert $ _ {\ Mathrm {base}} $的最先进的（SOTA）手工制作的修剪方法。在QNLI和RTE上，我们获得75 \％和42.8％的总体修剪比，同时获得更高的精度。在MRPC上，我们的得分比SOTA高4.6，在相同的整体修剪比为0.5。在STS-B上，与SOTA手工制作的修剪方法相比，我们可以达到40 \％的修剪比，而Spearman相关性的损失非常小。实验结果还表明，在模型压缩之后，单个bert $ _ {\ mathrm {base}} $ coder的推理时间在xilinx alveo u200 fpga板上具有1.83 $ \ times $ speedup，与intel（r）xeon相比）Gold 5218（2.30GHz）CPU，它显示了部署BERT $ _ {\ MATHRM {base}} $模型在计算限制设备上生成的方法生成的子网的合理性。
translated by 谷歌翻译
卷积神经网络（CNN）通过使用大型数据集在图像分类方面取得了重大成功。但是，在小规模数据集上从头开始学习，有效地有效地学习，这仍然是巨大的挑战。借助有限的培训数据集，类别的概念将是模棱两可的，因为过度参数化的CNN倾向于简单地记住数据集，从而导致概括能力差。因此，研究如何在避免过度拟合的同时学习更多的判别性表示至关重要。由于类别的概念往往是模棱两可的，因此获取更多个人信息很重要。因此，我们提出了一个新框架，称为“吸引和修复”，由对比度正规化（CR）组成以丰富特征表示形式，对称交叉熵（SCE），以平衡不同类别的拟合和平均教师以校准标签信息。具体而言，SCE和CR学习歧视性表示，同时通过班级信息（吸引）和实例（拒绝）之间的适应性权衡缓解过度构成。之后，平均教师通过校准更准确的软伪标签来进一步提高性能。足够的实验验证了吸引和修复框架的有效性。加上其他策略，例如积极的数据增强，tencrop推断和模型结合，我们在ICCV 2021 vipriors图像分类挑战中获得了第二名。
translated by 谷歌翻译